Многие из вас иногда хотят получить так называемый "Support Bundle", содержащий лог-файлы, диагностическую информацию и метрики производительности, который помогает решать проблемы в инфраструктуры VMware vSphere. В первую очередь, этот бандл нужен для предоставления службе технической поддержки VMware GSS (Global Support Services) информации о конфигурации виртуальной среды, чтобы она могла решать возникающие у клиентов проблемы в рамках обращений (тикетов) в техподдержку.

Но, кроме этого, данный бандл может пригодиться и вам, как, например, описано в этой статье для анализа причин "розового экрана смерти" и прочих аномалий.

Давайте рассмотрим основные способы получения support bundle как для серверов VMware vCenter (для Windows или виртуального модуля vCenter Server Appliance, vCSA), так и для серверов VMware ESXi. Кстати, надо учитывать, что после экспорта бандла с логами результирующий файл будет размером 30-300 МБ в зависимости от того, что вы туда включите, а также как давно и интенсивно менялась конфигурация виртуальной среды.

Получение Support Bundle для серверов vCenter

Самый простой способ получить саппорт бандл - это выгрузить его с помощью vSphere Web Client. Для этого нужно выбрать сервер vCenter в иерархии инвентори и выбрать пункт Export System Logs (работает как для обычного vCenter, так и для vCSA):

Далее вам предложат, какие разделы нужно включить в сгенерированный бандл логов:

Если вы используете vCSA, то можно получить логи через веб-интерфейс. Для этого надо перейти по адресу:

https://<ip vcsa>/appliance/support-bundle

И далее ввести логин и пароль root от виртуального модуля vCSA.

После этого support bundle будет сгенерирован и загружен через ваш браузер.

Кроме этого, есть способ получить логи vCSA из Linux-системы с помощью утилиты curl. Для этого нужно выполнить следующую команду:

curl -k -u root -o support-bundle.tar.gz -O https://<ip vcsa>/applmgmt/support-bundle

После того, как вы скачаете этот бандл, нужно будет разархивировать его командой:

tar -zxvf support-bundle.tar.gz

Также Support Bundle можно получить с помощью PowerCLI. Для этого нужно соединиться с сервером vCenter:

Connect-VIServer -Server HostnameOrIPAddress

И далее использовать следующую команду:

Get-Log -Bundle -DestinationPath c:\Storage\Location\

Более подробная информация об этом приведена в KB 1027932. Там же, кстати, есть информация и о том, как искать в файлах логов с помощью PowerCLI:

Get-VMHost HostNameOrIP | Get-Log LogName | Select -expand Entries | Select-String SearchTerm | More

Здесь SearchTerm - это строка поиска, а LogName - это один из следующих логов:

• hostd
• vpxa
• messages
• vmkernel
• vmksummary
• vmkwarning

Получение Support Bundle для серверов ESXi

По аналогии с получением бандла для сервера VMware vCenter или vCSA, в vSphere Client можно выбрать сервер VMware ESXi и выбрать для него пункт "Export System Logs":

Также можно сгенерировать Support Bundle через тонкий клиент для управления серверами VMware ESXi - Embedded Host Client (он же - просто веб-интерфейс для управления хостами ESXi). Он доступен при соединении с хостом ESXi по ссылке:

https://<ip esxi>/ui

Для генерации саппорт бандла нужно выбрать пункт "Generate support bundle" из контекстного меню хоста:

Помимо этого, его можно сгенерировать и в консоли ESXi. Для этого используется команда vm-support без параметров (подробнее об этом написано в KB 1010705). Чтобы получить Support Bundle нужно в консоли ESXi выполнить следующую команду:

# vm-support

Надо отметить, что у утилиты есть множество разных параметров:

Аналогично получению бандла для vCenter, через PowerCLI можно получить и бандл для хоста ESXi. Соединяемся с хостом, забираем бандл и складываем его в нужную папку:

Get-VMHost HostNameOrIP | Get-Log -Bundle -DestinationPath c:\Storage\Location\

Для тех, кто хочет узнать, что же находится внутри Support Bundle, мы рекомендуем статью "What's Inside an ESXi vm-support Bundle?".

Прошлой весной компания VMware выпустила релиз своего основного документа по обеспечению безопасности виртуальной среды Security Configuration Guide для vSphere 6.5. Напомним, что ранее подобный документ назывался Hardening Guide и был основным руководством для сотрудников отделов ИТ-безопасности по настройке гипервизора ESXi и виртуальных машин.

На днях VMware выпустила финальную версию документа vSphere 6.5 Update 1 Security Configuration Guide, в котором приведены основные конфигурации для обеспечения безопасности уже Update 1, то есть последнего на данный момент мажорного обновления платформы vSphere.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

• Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
• Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
• Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
• Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Надо отметить, что от релиза к релизу Security Configuration Guide становится все меньше, так как VMware продвигает идеологию, что платформа становится защищеннее из коробки (Secure By Default). На данный момент осталось всего 68 конфигураций для всей виртуальной среды.

При работе с гайдлайнами инженеры VMware каждый раз проверяют актуальность тех или иных настроек, изменяют их или удаляют. Кстати, удаляют они их вот по каким причинам:

• Код vSphere постоянно ревьювится, и некоторые введенные улучшения делают так, что какой-то из описанных гайдлайнов больше не является вектором угрозы. Пример - настройка "disable-intervm-vmci". Сам по себе этот механизм был удален из состава vSphere, а значит ушла и рекомендация по этой настройке.
• Также некоторые гайдлайны ранее были невыполнимыми (например, verify-kernel-modules) - многие пытались писать свои скрипты для верификации каждого модуля VMkernel при загрузке, пока VMware не сделала цифровые подписи VIB-модулей, за счет которых распространяются компоненты vSphere, и механизм Secure Boot.
• Некоторые гайдлайны были написаны для фичей, которые некорректно понимались с точки зрения безопасности. Например, считалось, что настройка VM.disable-hgfs актуальна для vSphere, но оказалось, что она применяется только для Workstation и Fusion и никакой угрозы не несет.

Также поменялись некоторые дефолтные значения для настроек безопасности, которые ранее по умолчанию вообще не имели значений. Например, настройки ниже имеют указанные явно значения TRUE, чтобы не вводить пользователя в заблуждение - типа, а как это работает по умолчанию?

Давайте посмотрим на статистику того, что изменилось в гайдлайнах, и как они теперь выглядят:

Скачать VMware vSphere 6.5 Update 1 Security Configuration Guide можно по этой ссылке.

Если вы зайдете на страницу поддерживаемых устройств ввода-вывода (I/O Devices) в списке VMware Hardware Compatibility List (HCL), то в правой колонке увидите там следующие параметры:

• VID (Vendor ID)
• DID (Device ID)
• SVID (Sub-Vendor ID)
• SSID (Sub-Device ID)

Все эти категории там не просто так - это очень удобный способ проверить совместимость вашего устройства ввода-вывода (сетевая карта, HBA-адаптер, SCSI-контроллер, USB-контроллер, и т.п.) с платформой VMware vSphere / ESXi и другими продуктами.

Например, если вы хотите узнать эти параметры для сетевой карты, то можно вывести список PCI-устройств командой vmkchdev, отфильтровав их с помощью grep по свойству vmnic (сетевой адаптер):

vmkchdev -l | grep vmnic

Далее вы увидите подобный вывод:

[dpasek@esx01:~] vmkchdev -l | grep vmnic

0000:02:00.0 14e4:1657 103c:22be vmkernel vmnic0

0000:02:00.1 14e4:1657 103c:22be vmkernel vmnic1

0000:02:00.2 14e4:1657 103c:22be vmkernel vmnic2

0000:02:00.3 14e4:1657 103c:22be vmkernel vmnic3

0000:05:00.0 14e4:168e 103c:339d vmkernel vmnic4

0000:05:00.1 14e4:168e 103c:339d vmkernel vmnic5

0000:88:00.0 14e4:168e 103c:339d vmkernel vmnic6

0000:88:00.1 14e4:168e 103c:339d vmkernel vmnic7

Здесь вот этот участок - 14e4:1657 103c:22be - для адаптера vmnic0 позволяет разложить его на 4 приведенных выше параметра:

• VID = 14e4
• DID = 1657
• SVID = 103c
• SSID = 22be

После этого вы просто вбиваете эти параметры в VMware HCL для I/O-устройств в правую колонку и смотрите, совместима ли данная сетевая карта с данной версией VMware ESXi.

Если вы отфильтруете вывод по строчке vmhba, то можете получить локальные SCSI-контроллеры или HBA-адаптеры, которые также можно проверить аналогичным образом.

Год назад мы писали об обновлении утилиты RVTools 3.9.2, в котором появилась поддержка VMware vSphere 6.5. В конце февраля вышло обновление этого средства - RVTools 3.10, где появилась масса новых возможностей. Напомним, что RVTools - это утилита, которая помогает администраторам при выполнении рутинных операций с виртуальной инфраструктурой в различных аспектах.

Давайте посмотрим, что нового в RVTools 3.10:

• RVTools теперь сделана на Visual Studio 2017.
• Фреймворк .Net обновлен до версии 4.6.1
• Новые колонки на вкладке vInfo: настройка latency-sensitivity для ВМ, параметры Change Block Tracking (CBT) и значение disk.EnableUUID.
• Новые колонки на вкладке vDisk: SCSI label, unit number и sharedBus.
• Новые колонки на вкладке vHost: назначенные лицензии, ATS heartbeat, значения ATS locking (0 = disabled, 1 = enabled), короткое имя для Host Power Policy, текущая политика CPU Power Management, поддержка CPU power hardware.
• При экспорте в xlsx добавляется версия RVTools и дата/время в выходной файл.
• Все колонки экспортированного xlsx имеют фильтр.
• Новые строчки в csv-файле теперь заменены на пробелы.
• Если утилита работает из командной строки и возникают проблемы с логином - больше не появляется окошко ввода кредов, вместо этого утилита завершается с кодом -1.
• Добавлен пример сценария PowerShell, который позволяет объединять экспортированные xlsx-файлы.
• Добавлен пример сценария PowerShell, который позволяет экспортировать несколько серверов vCenter в один xlsx.
• Вкладка vDatastore: для датасторов NFS колонка с адресом заполняется полным путем к папке вместе с хостом.
• Новые колонки вкладки vDatastore: имя Datastore Cluster, общая емкость кластера и свободные ресурсы хранилищ.
• Верхняя граница хэлсчека (health check) виртуальных машин увеличена до 9999.
• Вкладка vHealth: новая колонка "message type", которую можно использовать как фильтр в Excel.
• Вкладка vHealth: файлы hbrdisk.RDID теперь не определяются как зомби-файлы.
• Вкладка vHealth: при высокой заполненности хранилища показывается также свободная емкость в мегабайтах.
• Все вкладки: обновление и автообновление учитывают порядок пользовательской сортировки.
• Параметры командной строки export2xls обновились на export2xlsx (старые также работают).
• Пакет Log4net обновлен до версии 2.0.8, Waffle.AD - до версии 1.8.3, NPOI - до версии 2.3.0.
• Ошибка соединения для TLSv1.0 и TLSv1.1 отключена и только для TLSv1.2 включена за счет использования .Net Framework 4.6.1.
• Дефолтная директория теперь поменялась на C:\Program Files (x86)\RobWare\RVTools и не содержит номера версии.

Скачать RVTools 3.9.2 для VMware vSphere 6.5 можно по этой ссылке. Документация доступна тут.

В блоге VCDX133 появился интересный и полезный список основных ключевых моментов в различных аспектах проектирования инфраструктуры VMware vSphere. Он будет полезен архитекторам и системным инженерам, которые планируют внедрение большой инфраструктуры виртуализации и хотят учесть все основные функции платформы, а также избежать проблем в будущем при масштабировании архитектуры.

Кстати, этот список можно использовать как высокоуровневый опросник перед началом фазы проектирования, чтобы выяснить ключевые потребности заказчика и далее превратить это все в техническое задание на базе полученных требований.

Приведем данный список ниже:

Бизнес-задачи и проблемы

• Какие основные задачи стоят при внедрении?
• Какие проблемы заказчика предполагается решить?

Варианты использования платформы

• Какие варианты использования инфраструктуры VMware предполагает сам заказчик?

Требования/Ограничения/Допущения

• Каковы основные требования, какие ограничения учесть, о какие допущениях и неочевидных моментах нужно проинформировать заказчика.

Риски

• Какие риски внедрения решения (например, простои при миграции) и каковы способы их минимизации? Есть ли специфические задачи, тесты и процедуры, которым нужно следовать в таком случае.

A. Управление виртуальным датацентром

Решения в области логической архитектуры

• Общий объем объединяемых в пул ресурсов (вычислительные мощности, сети и хранилища).
• Какие сервисы будет предоставлять инфраструктура.
• Необходимый уровень доступности для систем управления платформой виртуализации.
• Интеграция со сторонними решениями: IT Service Management, Infrastructure Management systems, Enterprise services (DNS, LDAP, NTP, PKI, Syslog, SNMP Traps), сбор данных агентами систем различных вендоров.
• Необходимы ли расширенные операции, не предоставляемые из коробки?
• Механизмы защиты рабочих нагрузок гипервизора (vMotion, HA и другое).
• Механизмы балансировки нагрузки на гипервизор (DRS).

Решения в области физической инфраструктуры

• Гипервизор: версии ESXi.
• Нужен ли отдельный кластер управления?
• Серверы vCenter в режиме Standalone или Linked-Mode?
• Версия vCenter Server и тип установки (под Windows или в виде виртуального модуля).
• База данных vCenter Server - встроенная или внешняя?
• Механизмы защиты vCenter Server.
• Дизайн инфраструктуры Platform Services Controller (PSC). Будет ли один домен SSO?
• Нужна ли инфраструктура шифрования (PKI)? Какие требования к SSL?
• Какие компоненты vSphere будут использоваться?
• Нужна ли функциональность Host profiles?
• Вопросы управления обновлениями ESXi, версиями VM Hardware и версиями VMware Tools.
• Интеграция с антивирусами и решениями vShield/NSX.
• Нужен ли пакет vRealize Suite для расширенных операций и управления частным облаком?
• Нужен ли продукт vRealize Orchestrator для управления рабочими процессами операций? Нужен ли PowerCLI для сценариев автоматизации?
• Нужно ли интегрировать виртуальную инфраструктуру с другими средствами управления (Enterprise Management)?
• Automated vendor support mechanisms? How will VMware Skyline be used?
• Нужно ли организовывать интеграцию с системами Service Desk или Change Management?
• Каковы требования к механизмам vSphere HA и vSphere DRS?
• Если будет использоваться HCI (Hyper-Converged Infrastructure), то какие решения будут использоваться для управления, и как это будет совместимо с vSphere?
• Вопросы интеграции со службами DNS и NTP.
• Ролевая модель доступа (Role Based Access Control) и интеграция с LDAP.
• Какой интерфейс vCenter Server будет использоваться для администрирования и ежедневных операций (vSphere Client / Web Client).
• Модель лицензирования vCenter.
• Вопросы лицензирования стороннего ПО в виртуальных машинах (на хост, на виртуальный процессор vCPU и т.п.).

B. Вычислительные ресурсы

Решения в области логической архитектуры

• Традиционная архитектура, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с хранилищами).
• Минимальное число хостов в кластере.
• Тип сайзинга хостов в кластерах: вертикальный (Scale Up) или горизонтальный (Scale Out)?
• Гомогенные или гетерогенные узлы?
• Число физических процессоров на хост.
• Резервирование уровня хостов в рамках доменов отказа (Failure Domains).
• Необходимая емкость по CPU.
• Необходимая емкость по RAM.

Решения в области физической инфраструктуры

• Вендор серверов.
• Тип процессоров серверов.
• Фичи CPU: VT-x, Hyper-threading, Turbo Boost, включена ли NUMA?
• Конфигурация серверного оборудования.
• Число сокетов CPU на узел.
• Модель процессора, частота и число ядер.
• Нужен ли GPU?
• Физическое размещение хостов.
• Тип размещения: Single Rack или Multi-Rack с шарингом ресурсов?
• Требования к доступности кластеров.
• Нужно ли обеспечить согласованность доступности хостов с доступностью хранилищ.
• Будущее расширение вычислительных ресурсов.

C. Хранилища

Решения в области логической архитектуры

• Традиционные хранилища, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с вычислительными ресурсами).
• Блочные или IP-хранилища?
• Средства автоматизированного управления хранилищами.
• Допустимо ли использование RDM?
• Метод загрузки хоста ESXi - с локального диска (DAS), LUN или PXE.
• Толстые или тонкие диски для виртуальных машин?
• Необходимые ресурсы хранения.
• Репликация хранилищ.

Решения в области физической инфраструктуры

• Вендор систем хранения.
• Расчет используемой емкости хранилищ с учетом пулов хранения, затрат на репликацию и бэкап. Каковы численные требования к емкости и производительности хранилищ?
• Число дисков SSD и HDD в каждой из систем хранения.
• Использование дедупликации, сжатия данных, технологии Erasure Coding и Storage APIs. Нужно ли держать процент хранилищ всегда свободным?
• Какой активный Working Set (рабочий объем данных) необходим?
• Трешхолды для автоматизированного ярусного хранения данных (разнесения по ярусам).
• Использование шифрованных дисков и сервер KMS.
• Сеть хранения данных и ее организация.
• Механизм загрузки хстов ESXi.
• Технологии VM DirectPath I/O и SR-IOV.
• Число датасторов на кластер.
• Будут ли использоваться DRS и SIOC?
• Будут ли применяться VMDK shares на уровне виртуальных дисков?
• Будет ли использоваться технология VAAI?
• Использование VASA и профилей хранилищ (storage profiles).
• Будут ли использоваться синхронные или асинхронные DR-решения?
• Планирование расширения хранилищ.

D. Сетевая инфраструктура

Решения в области логической архитектуры

• Технология Legacy 3-Tier Switch, Collapsed Core или Clos-type Leaf/Spine?
• Кластеризованные физические или отдельные коммутаторы EoR/ToR?
• Растянутые логические VLAN или на уровне стойки?
• Трафик будет функционально разделяться на уровне виртуальных коммутаторов или отдельных VLAN?
• Будут ли использоваться Jumbo Frames?
• Требования Quality of Service (QoS).
• Балансировка нагрузки в сети (Load Balancing).
• Версия протокола IP.
• Соединения Inter-Data Center, включая RTT.
• Требуемая емкость и пропускная способность сети.
• Какие ВМ разрешены - с одним или несколькими vNIC?

Решения в области физической инфраструктуры

• Выбор вендора решения Clos-type Leaf/Spine для больших инсталляций. Либо использование архитектуры Core/Agg/Dist/Access switch.
• Фабрика коммутаторов типа Blocking или non-blocking?
• Если blocking, какое уровень переподписки (over-subscription ratio)?
• Каков путь трафика типа North/South и East/West?
• Где находятся шлюзы Layer 3 для каждой из подсетей?
• Требования к динамической маршрутизации (Dynamic Routing)?
• Нужен ли мультикаст?
• Будут ли использоваться End-to-End Jumbo Frames?
• Интерфейсы хостов ESXi: 1GbE и/или 10GbE? Сколько их будет на каждом хосте?
• Интерфейсы на хостах - LAG или unbonded?
• Слой управления для KVM и iLO/iDRAC/IPMI.
• Производительность физической сети LAN.
• Матрица связности хостов по сети передачи данных.
• Нужно ли Metro Ethernet между датацентрами?
• Использование QoS, Network Control и vSphere Network I/O Control.
• Будет ли использоваться Edge QoS или End-to-End QoS?
• Система vSphere NIOC и User-Defined Network Resource Pools.
• vMotion через несколько физических адаптеров одновременно.
• Использование VLAN Pruning.
• Использование Spanning Tree.
• Технологии VM DirectPath I/O и SR-IOV.
• Будет ли включена TCP Offload?
• Будут ли использованы стандартные vSwitch (VSS) или распределенные Distributed Switch (VDS).
• Разные vSwitches на кластер или общие?
• Использование технологий Teaming и Load Balancing.
• Порты VMkernel.
• Группы портов для виртуальных машин.
• Нужно ли решение VMware NSX-v?
• Планирование расширения сети по числу портов.

E. Защита данных

Решения в области логической архитектуры

• Частота резервного копирования большинства ВМ.
• Настройки бэкапов уровня Application Consistent и Database Consistent.
• Требования ко времени восстановления.
• Физическое разделение актуальных данных и бэкапов.
• Необходимые решения для бэкапа.
• Требования к производительности процесса резервного копирования.

Решения в области физической инфраструктуры

• Будет ли использоваться решение на базе VADP (например, Veeam Backup and Replication).
• Критерии для выбора решения по бэкапу.
• Требования к механизму резервного копирования и восстановления.
• Снапшоты уровня ВМ.
• Нужна ли асинхронная репликация снапшотов ВМ в удаленный кластер или публичное облако.
• Частота резервного копирования.
• Политика хранения резервных копий.
• Выделяемые емкости под хранение бэкапов и производительность процесса.
• Быстрое восстановление средств управления кластером на хосте ESXi.
• Рост объема хранения бэкапов и ресурсы для его обслуживания.

F. Виртуальные машины

Решения в области логической архитектуры

• Стандартные размеры ВМ (по уровням настроек - виртуальный диск, память, сеть, опции).
• Какие механизмы для CPU и RAM будут использоваться (например, Memory Ballooning)?
• Размещение файлов ВМ.
• Стандартизация гостевых ОС.
• Выбор между 64 и 32-битными системами.
• Использование шаблонов.

Решения в области физической инфраструктуры

• Стандартные размеры виртуальных машин и ресурсы для них.
• Планирование виртуальных сервисов vApps и пулов ресурсов.
• Размещение виртуальных машин на общих хранилищах.
• Стандартные настройки виртуальных дисков машин.
• Будут ли использоваться тонкие диски?
• Допустимы ли аппаратные снапшоты на уровне хранилищ или снапшоты vSphere?
• Будет ли включен Changed Block Tracking (CBT)?
• 32/64-битные версии гостевых систем.
• Адаптеры vSCSI.
• Виртуальные сетевые адаптеры vNIC.
• Версия виртуального аппаратного обеспечения (VM Hardware).
• Будут ли установлены VMware Tools и какой версии?
• Прочие стандартные настройки ВМ.
• Какие шаблоны ВМ будут использоваться?
• Настройки репозиториев шаблонов ВМ.
• Предложения по работе виртуальных машин с приложениями уровней Mission-Critical/Business-Critical.

G. Безопасность

Решения в области логической архитектуры

• Зоны и трасты.
• Нужна ли Defence-in-Depth?
• Будет ли решение мультивендоным?
• Физическое разделение сегментов сети.
• Стандарты, которые нужно соблюсти.
• Требования к защите инфраструктуры виртуализации и виртуальным машинам.
• Необходимый объем защиты сетевой инфраструктуры.

Решения в области физической инфраструктуры

• Физическое и виртуальное зонирование сетей.
• Сетевые экраны уровня приложений и уровня сетей.
• Системы IDS и IPS.
• SSL и сети IP-Sec VPN.
• Комплексная защита от сетевых угроз (Unified Threat Management)?
• Выбор вендора в сфере решений ИТ-безопасности.
• Нужно ли решение VMware NSX-v/T?
• Защита конечных устройств и выбор антивирусов.
• Производительность решений для сеNetwork Security Performance?
• Системы Security Information & Event Management (SIEM).
• Будет ли использоваться инфраструктура шифрования (Public Key Infrastructure, PKI)?
• Будет ли использоваться технология vSphere Cluster security? STIG?
• Технологии защиты хоста ESXi.
• Технологии защиты сетевого взаимодействия.
• Технологии защиты хранилищ.
• Технологии защиты резервных копий.
• Технологии защиты виртуальных машин.
• Будет ли будущее расширение инфраструктуры и какие дополнительные средства могут понадобиться?

H. Непрерывность бизнеса / восстановление после аварий (BC/DR)

Решения в области логической архитектуры

• Какие механизмы защиты будут использоваться?
• Ручные или автоматические сценарии восстановления? Регламент ручных действий.
• Политики RPO, RTO, WRT и MTD для приложений различной степени критичности (Mission-Critical, Business-Critical и Non-Critical).
• Как использовать глобальные балансировщики (Global Site Load Balancers).
• Параметры DNS TTL для клиентов.

Решения в области физической инфраструктуры

• Нужны ли решения по катастрофоустойчивости?
• Нужен ли продукт VMware SRM или Veeam Availability Suite?
• Нужно ли решение GSLB?
• Использование внутренних и внешних DNS-серверов.
• Уровень катастрофоустойчивости - нужна ли синхронная репликация на географически удаленные кластеры?
• Репликация на несколько площадок, репликация баз данных и Message Queue clustering/replication.

На днях компания VMware обновила пару своих утилит на сайте проекта VMware Labs, которые могут оказаться вам полезными.

Во-первых, решение VMware vCenter VM Mobility, о котором мы писали вот тут, обновилось до версии 1.5. Напомним, что это средство позволяет через интерфейс командной строки (CLI) перенести машину между серверами vCenter, которые связаны в режиме Linked Mode или размещены независимо друг от друга. Надо отметить, что в режиме Linked Mode и так можно перемещать виртуальную машину между датацентрами, поэтому полезна утилита именно для несоединенных vCenter.

Давайте посмотрим, что нового появилось в версиях vCenter VM Mobility 1.2-1.5:

• Добавлена возможность выбрать папку ВМ в месте назначения, а также storage pod (для механизма storage drs).
• Поддержка соединения на сайте назначения, чтобы не прервалась задача перемещения ВМ.
• Пофикшен баг, когда при миграции нескольких виртуальных машин с одной виртуальной сетью назначения мигрировалась только одна.
• Поддержка передачи пароля в качестве аргумента для автоматизации задач клонирования и перемещения ВМ между датацентрами.

Скачать VMware vCenter VM Mobility 1.5 можно по этой ссылке. Напомним, что утилитой лучше не пользоваться для миграции связанных клонов ВМ (linked clones).

Вторая обновившаяся утилита - это DRS Lens, про которую мы рассказывали вот тут. Она позволяет администраторам виртуальных инфраструктур получить больше информации о работе механизма балансировки нагрузки на хост-серверы VMware vSphere DRS.

На днях вышла версия DRS Lens версии 1.2. Приведем ниже новые возможности утилиты версий 1.1-1.2:

• Добавлена поддержка архивирования старых данных мониторинга.
• Добавлена страница общей информации для vCenter, чтобы получать информацию о кластерах и архивах.
• Улучшения пользовательского интерфейса.
• Добавлена совместимость процесса логина с vCenter 5.5.
• Пофикшены некоторые серьезные баги.

Скачать DRS Lens 1.2 можно по этой ссылке.

Некоторые из вас знают, что VMware и другие производители в последнее время борются с уязвимостями Meltdown и Spectre в процессорах Intel, выпуская и отзывая патчи для различных компонентов ИТ-инфраструктуры. Мы писали об этом не так давно в следующих заметках:

• Вышел VMware vCenter Server Appliance 6.5 Update 1f - исправлена уязвимость Meltdown и Spectre (частично)
• Производительность хост-серверов VMware ESXi и других платформ после наката патчей для Meltdown и Spectre
• Для VMware vSphere, Workstation и Fusion пофикшена уязвимость Spectre
• Скрипт для проверки виртуальной инфраструктуры VMware vSphere на подверженность уязвимости Spectre

Как вы знаете, из за патчей для данных уязвимостей на серверах ESXi иногда существенно проседает производительность (также подробно об этом написано тут), что необходимо отслеживать для того, чтобы не оказаться в ситуации неожиданного недостатка ресурсов в кластере после его апгрейда.

Напомним основные статьи VMware KB, касающиеся исправлений данных уязвимостей:

• https://kb.vmware.com/s/article/52245 
• https://kb.vmware.com/s/article/52337

Еще в декабре 2017 некоторые из уязвимостей были пофикшены, но с тех пор у многих пользователей VMware vSphere появились проблемы с производительностью.

Один из сотрудников VMware опубликовал полезную заметку о том, как с помощью решения vRealize Operations Manager можно отслеживать производительность хостов ESXi в кластерах VMware HA/DRS и на основе этого принимать решения о патчинге тех или иных производственных сред и кластеров.

1. Трекинг версий BIOS и хостов ESXi для каждого сервера с использованием дэшборда Host Configuration.

Этот инструмент нужен, чтобы не забыть пропатчить хост-серверы ESXi:

2. Просмотр информации об использовании виртуальными машинами системных ресурсов.

3. Также надо смотреть на изменения CPU и Memory Usage на уровне кластера с помощью дэшборда Capacity Overview.

4. С помощью дэшборда Heavy Hitters можно выяснить, какие из ВМ сейчас действительно сильно грузят оборудование.

5. Также если у вас есть 2 кластера, которые выполняют одну функцию в плане рабочих нагрузок - вы можете переместить нагрузки с помощью функции Workload Balance.

6. Возможность перераспределения емкости кластера можно узнать с помощью дэшборда Capacity Reclaimable.

7. Использование кастомных дэшбордов для Meltdown и Spectre.

Это возможно, если у вас издание vRealize Operations Advanced или более высокое, так как оно позволяет создавать кастомные дэшборды. Сотрудники VMware, Iwan Rahabok, Mark Scott и Luciano Gomes, разработали специальные дэшборды, которые сфокусированы на конфигурации, производительности, емкости и утилизации виртуальной инфраструктуры. Скачать все три дэшборда вместе с инструкциями можно по этой ссылке.

Эти следующие три дэшборда:

• Performance Monitoring
• Planning Guest OS Patching
• Tracking vSphere Patching

7.1 Дэшборд Performance Monitoring.

Этот дэшборд позволяет отслеживать производительность CPU и памяти на всех уровнях - ВМ, хост, кластер. Соответственно, сравнивая исторические периоды, вы сможете сделать вывод о падении производительности.

7.2 Дэшборд Planning Guest OS Patching.

Этот дэшборд нужен для того, чтобы спланировать патчинг гостевых ОС. Сначала находятся все простаивающее ВМ, апдейт которых не сильно повлияет на функционирование виртуальной инфраструктуры, а в последнюю очередь идет обновление так называемых "heavy hitters" - рабочих лошадок вашего предприятия, апдейт которых должен проводиться с особой осторожностью.

7.3 Дэшборд Tracking vSphere Patching.

Этот дэшборд помогает планировать апгрейд различных версий VMware ESXi, а также версий виртуального аппаратного обеспечения (Virtual Hardware) виртуальных машин. Он решает 2 практические задачи:

• Отслеживание номеров билдов VMware ESXi и прогресса патчинга серверов.
• Отслеживание Virtual Hardware различных ВМ.

Совокупность всех этих инструментов позволит вам не только грамотно спланировать весь процесс патчинга гостевых ОС и хост-серверов, но и измерить влияние на производительность результата апгрейда хостов ESXi и прочих компонентов виртуальной инфраструктуры.

В конце января компания VMware выпустила существенное обновление своего клиента на базе технологии HTML5 для управления виртуальной инфраструктурой VMware vSphere. На днях вышел еще один апдейт - VMware vSphere Client 3.34, в котором также появилось немало всего нового.

Давайте посмотрим на последние фичи vSphere Client версии 3.34:

• Визуализация топологии виртуальных коммутаторов (см. на скриншоте выше).
• Возможность пакетного создания виртуальных адаптеров VMkernel на распределенной группе портов vDS.
• Действие по привязке лицензи (Assign License) на вкладке License Assets.
• Сообщение об устаревающих лицензиях vCenter.
• Изменение настроек виртуальных сервисов vApp.
• Включение и изменение настроек vApp для его виртуальных машин.
• Перемещение сетей (networks) и распределенных коммутаторов в новые папки типа network в инвентори.
• Пакетная привязка физических сетевых адаптеров к аплинкам в мастере "Add and Manage Hosts" на распределенном коммутаторе.
• Пакетная привязка портов VMkernel к порт-группам "Add and Manage Hosts" на распределенном коммутаторе.
• Отображение дополнительной информации, такой как состояние питания и информации Quiesce/memory для снапшотов виртуальных машин.

Загрузить VMware vSphere Client 3.34 можно по этой ссылке.

Иногда у администраторов VMware vSphere появляется проблема на сервере VMware vCSA (виртуальный модуль vCenter), когда дисковое пространство в разделе /var/log забивается под завязку. Например, если выполнить команду ls, то получим вот такую картину:

vcsa-01:/var/log # ls -lh

total 4.6G

-rw-r----- 1 dnsmasq dnsmasq  17M Feb  4 08:32 dnsmasq.log

-rw-r----- 1 dnsmasq root    844M Jan 28 07:45 dnsmasq.log-20180128

-rw-r----- 1 dnsmasq dnsmasq 3.7G Feb  2 16:19 dnsmasq.log-20180204

Здесь мы видим целых 4,6 ГБ логов! Такая ситуация - не редкость, поэтому иногда нужно поменять настройки заполнения и ротации логов, чтобы раздел не забивался. В данном случае растет лог dnsmasq - кэша сервера DNS и DHCP на сервере vCSA (подробнее тут).

Вот тут мы уже писали о том, как сменить еженедельную ротацию на ежедневную, а теперь немного более подробно посмотрим на проблему. По этому вопросу есть специальная статья VMware KB - "Root partition on the vCenter Server Appliance is full due to dnsmasq.log files".

В качестве решения предлагается отредактировать файл /etc/logrotate.d/dnsmasq до следующего состояния:

/var/log/vmware/dnsmasq.log {

nodateext # добавляем эту строчку

daily # меняем со значения weekly

missingok

notifempty

compress # меняем со значения delaycompress

maxsize 5M # добавляем эту строчку

rotate 5 # добавляем эту строчку

sharedscripts

postrotate

[ ! -f /var/run/dnsmasq.pid ] || kill -USR2 `cat /var/run/dnsmasq.pid`

endscript

create 0640 dnsmasq dnsmasq

}

Кстати, размещение файла логов можно изменить в файле /etc/dnsmasq.conf, для этого надо поменять вот эту строчку:

log-facility=/var/log/vmware/dnsmasq.log

Сам же данный конфигурационный файл рекомендуется сделать таким:

listen-address=127.0.0.1

bind-interfaces

user=dnsmasq

group=dnsmasq

no-negcache

no-hosts

log-queries

log-facility=/var/log/vmware/dnsmasq.log

domain-needed

dns-forward-max=150

cache-size=8192

neg-ttl=3600

После этого перезапускаем сервис dnsmasq:

vcsa-01:~ # service dnsmasq restart

Shutting name service masq caching server

Starting name service masq caching server

Блогер David Pasek опубликовал интересный пост, касающийся ограничения виртуальных машин и их виртуальных дисков по числу операций ввода-вывода. Смысл его в том, что автор, являющийся ярым сторонником обеспечения QoS на уровне виртуальных дисков, настоятельно рекомендует применять ограничения IOPS limit к виртуальным дискам машин, которые потенциально могут выесть много полосы ввода-вывода.

Сейчас ограничивать виртуальные машины по IOPS можно как на уровне виртуальных дисков на томах VMFS/RDM/NFS, так и на уровне томов VVols. Многие системы хранения оперирует понятием логического тома LUN, на котором размещается один том VMFS. Как правило, LUN - это логический том, что значит, что несколько LUN могут размещаться на одной физической группе дисков:

Таким образом, виртуальные машины, потребляющие много IOPS от хранилища (он называет их "noisy neighbor") могут существенно замедлить работу других производственных систем.

Поэтому для таких машин требуется создавать ограничения IOPS limit, которые можно задать для виртуального диска в опциях машин, либо привязать к VMDK диску политику с ограничениями по IOPS.

Например, в vSphere Web Client создаем новую VM Storage Policy с ограничениями IOPS limit for object:

А далее привязываем эту политику к диску VMDK в настройках ВМ:

Тут же в настройках можно задать значение в поле Limit-IOPs, если не выбирать политику.

Именно ограничение по IOPS делает поведение инфраструктуры хранения для виртуальных машин предсказуемым и управляемым. Ограничения по вводу-выводу позволят обеспечить минимально приемлемый уровень обслуживания для виртуальных машин, которым требуются ресурсы хранилища, с гарантией того, что остальные системы не съедят все доступные IOPS.

Ну и в заключение несколько аспектов данного рода ограничений:

• Команды ввода-вывода (IO) нормализуются к блоку 32 КБ, то есть команда в 128 КБ будет преобразована в 4 IO.
• IOPS limit не влияет на операции SVmotion (миграция хранилища), XVmotion (миграция машин без общего хранилища) и клонирование ВМ.
• IOPS limit применяется только ко вводу-выводу гостевой ОС и не затрагивает операции с самим диском VMDK и его swap-файлами.
• Если у машины несколько лимитов по IOPS для дисков на одном датасторе, то эти лимиты складывают и применяются для всей ВМ на этом датасторе в целом. Если же диски находятся на разных хранилищах, то тут уже действуют правила для каждого из групп дисков.
  • Например, если у каждой из 4 дисков машины на одном датасторе стоит лимит 100 IOPS, то для всей машины будет совокупный лимит 400. То есть, если три VMDK едят по 10 IOPS каждый, то четвертый диск сможет съесть максимум 370 IOPS.
  • А вот для NFS-хранилищ все работает несколько иначе - если у каждого из 4 дисков на одном датасторе стоит лимит 100 IOPS, то сколько бы ни потребляли остальные диски, для каждого из дисков будет применен максимальный лимит 100.
• Полная информация об ограничении ввода-вывода для виртуальных машин приведена в KB 1038241.

Также рекомендуем почитать нашу статью "VMware Storage I/O Control (SIOC) - как это работает на практическом примере".

Дункан Эппинг написал интересную заметку о максимальных настройках виртуальных машин, защищенных средствами кластера непрерывной доступности VMware Fault Tolerance.

Некоторые из вас знают, что у Fault Tolerance есть ограничения как по числу одновременно защищенных виртуальных машин на хосте, так и по числу виртуальных процессоров (vCPU) на один хост ESXi. Напомним, что эти ограничения были улучшены в VMware vSphere 6.0, теперь можно с помощью FT защищать машины с четырьмя vCPU, а всего таких машин может быть до четырех штук. Но при этом заявлено, что для FT не может быть более 8 vCPU на хосте (то есть 4 машины по 4 vCPU в каждой поддерживать не получиться).

Но это, оказывается, только в дефолтной конфигурации. Для регулирования этих параметров есть две расширенные настройки (Advanced Settings) кластера HA/DRS:

• das.maxftvmsperhost - максимальное число защищенных ВМ на хост (4).
• das.maxFtVCpusPerHost - максимальное число защищенных vCPU на хост (8).

Они по умолчанию равны значениям, описанным выше, но вы можете выставить свои значения - и это будет работать. Тогда откуда они взялись? Очень просто - инженеры взяли типовые нагрузки, посадили их на адаптер 10G и получили, что хост потянет где-то 8 vCPU для Fault Tolerance (4 машины по 2 vCPU). Это условие выполняется при старте машин пользователем, миграциях vMotion, а также механизмом DRS при расчете рекомендаций.

Но у вас своя инфраструктура (может уже и адаптеры 40 Gbps), поэтому вы можете использовать какие захотите разумные значения. Кстати, если вы поставите значение 0, то кластер VMware DRS будет полностью игнорировать данное требование к числу FT-машин на хост.

Но помните, что со стороны VMware превышение указанных значений не будет официально поддерживаемой конфигурацией.

Многие администраторы больших инфраструктур VMware vSphere используют стенсилы Microsoft Visio для создания различных диаграмм и схем в целях документирования текущего или будущего состояния инфраструктуры виртуализации. Также стенсилы и иконки используют консультанты и прочие ИТ-специалисты в своих презентациях PowerPoint.

Специально для них Ray Heffer обновил коллекцию "VMware Visio Stencils и иконки для презентаций PowerPoint", в которой масса полезных штук для составления схем и диаграмм (она составлена на базе графики различных производителей, не только VMware):

Скачать эти иконки можно в виде RAR-архива по этой ссылке.

Ну и вот еще список иконок для решений различных вендоров, которые использовались в качестве источников:

• Иконки Microsoft
• VMware icons and shapes: часть 1, часть 2, часть 3
• Иконки PowerPoint для NSX
• Графика Cisco
• Графика Google
• Графика Mozilla
• Графика Evernote
• Графика Oracle
• Графика Teradici
• Графика NVIDIA

Ну а вот наши посты по этой теме (поковыряйте, может что-то из этого еще актуально или обновилось):

• Бесплатные стенсилы для корпоративного датацентра от VMTurbo + обновленные стенсилы Veeam
• Стенсилы и иконки VMware Visio Stencils выпуск 4
• Новые стенсилы (Visio Stencils) от Veeam для документирования виртуальной инфраструктуры VMware vSphere и Microsoft Hyper-V
• Официальные и неофициальные стенсилы Microsoft Visio для документирования инфраструктуры VMware vSphere, VMware View и других продуктов
• Графика для VMware vSphere - иконки, visio стенсилы и boxshots

Ну и если здесь нет того, что вы считаете полезным - кидайте в комментарии.

Многие из вас знают про продукт для создания отказоустойчивых хранилищ StarWind Virtual SAN, являющийся лидером в сфере программных iSCSI-хранилищ под виртуализацию VMware vSphere и Microsoft Hyper-V.

Одной из возможностей данного решения является функция inline-дедупликации хранимых данных, которая позволяет существенно экономить дисковое пространство на конечных блочных носителях. Напомним, что еще в 2011 году мы писали о дедупликации StarWind, но с тех пор технология существенно ушла вперед, и вот уже несколько лет она работает надежно и эффективно.

Для тех, кто хочет заранее узнать, сколько именно места можно сэкономить с помощью продукта Virtual SAN, компания StarWind выпустила бесплатную утилиту StarWind Deduplication Analyzer, которая помогает вам проанализировать текущую структуру хранения виртуальных машин и получить отчет о потенциальной экономии. Запускать утилиту можно как для всего хранилища в целом, так и для отдельных виртуальных машин, чтобы идентифицировать ВМ, которые лучше всего ужимаются вследствие дедупликации на диске.

Как мы видим, StarWind использует 4k-блоки, которые сейчас являются стандартом де-факто для достижения наибольшей эффективности дедупликации.

По итогам работы утилиты будет выведен отчет о возможной экономии дискового пространства и количестве уникальных блоков на диске, который можно сохранить и распечатать:

Кстати, на скриншоте показан пример из реальной жизни, где коэффициент дедупликации оказался примерно равен 50%, то есть можно сэкономить где-то половину дискового пространства при хранении ВМ виртуального датацентра.

Работает утилита достаточно быстро, а главное, что пользоваться ей очень просто - выбираете папку и нажимаете кнопку Scan. При этом Deduplication Analyzer не требует установки и работает сразу при запуске скачанного файла.

Загрузить StarWind Deduplication Analyzer можно по этой ссылке.

У некоторых администраторов VMware vSphere время от времени возникает проблема с горячей миграцией vMotion виртуальных машин, например, когда они выводят хост в режим обслуживания (Maintenance Mode). vMotion зависает на 21%, и на vCenter Server появляется ошибка наподобие такой:

Failed waiting for data. Error 195887137. Timeout. vMotion migration failed to send buffer to remote host. vMotion migration failed writing stream completion.

Еще одно сообщение об ошибке в этом случае выглядит вот так:

The vMotion failed bacause the destination host did not receive data from the source host on the vMotion network. Failed to initialize migration at source. Error 195887109.

На панели задач мы видим вот такую картину:

Если посмотреть на лог-файлы, то там не обнаруживается никаких проблем. Но подобного рода ошибки, если внимательно поискать их в VMware KB, указывают на разные сконфигурированные значения MTU пакета в виртуальной инфраструктуре и на портах физических коммутаторов. Например, на vSphere Distributed Switch для порта VMkernel, через который идет миграция vMotion, размер MTU у вас выставлен в 9000 (для поддержки Jumbo Frames), а вот на на порту свича - 1500.

Поэтому всегда проверяйте, чтобы размер MTU был одинаковым на всех компонентах физической и виртуальной инфраструктуры - vDS и портах коммутатора. Более подробно о настройке Jumbo frames написано в KB 1038827.

Многие из вас хотя бы раз задумывались о том, сколько виртуальных машин должно в среднем приходиться на один хост, а кроме того, в частности, сколько виртуальных процессоров (vCPU) могут исполняться на физических процессорах (pCPU) хост-сервера VMware ESXi.

На этот счет системные архитекторы часто дают следующие рекомендации (в соответствии с критичностью нагрузок в кластере):

• Tier 1 cluster (mission-critical приложения) - соотношение 1:1 vCPU / pCPU.
• Tier 2 cluster (business-critical приложения) - соотношение 3:1 vCPU / pCPU.
• Tier 3 cluster (инфраструктурные и обеспечивающие приложения) - соотношение 5:1 vCPU / pCPU.
• Tier 4 cluster (виртуальные десктопы) - соотношение 10:1 vCPU / pCPU.

Это общие рекомендации и, конечно же, не железные правила - отталкиваться нужно от имеющегося оборудования и характера нагрузок в виртуальных машинах.

Для того, чтобы регулировать это соотношение со стороны кластера балансировки нагрузки VMware DRS есть 2 специальные расширенные настройки:

• MaxVcpusPerClusterPct - регулирует соотношение vCPU/pCPU на уровне всего кластера, не привязываясь к конкретным хостам ESXi (то есть сумма vCPU всех машин делится на сумму pCPU всех хостов).
• MaxVCPUsPerCore - регулирует соотношение vCPU/pCPU на уровне каждого из хостов ESXi, то есть ни на одном из них это соотношение не может быть превышено.

Указываются эти расширенные настройки в разделе Configuration Parameters в vSphere Web Client при настройке DRS-кластера:

Также их можно задать и в HTML5-клиенте vSphere Client:

Но самое интересное - это то, что в vSpher Web Client эта настройка есть в GUI и регулирует параметр MaxVcpusPerClusterPct на уровне всего кластера (можно задать процент от 0 до 500, но разумно задавать значения от 100 до 500, если задать 500 - число vCPU может быть больше pCPU в пять раз):

А вот в vSphere Client - эта настройка уже MaxVCPUsPerCore, то есть задание CPU Overcommitment на уровне каждого из хостов ESXi, о чем и написано в интерфейсе:

Кстати, выставить эту настройку можно в диапазоне от 0 до 32.

Пару недель назад мы писали о новых возможностях последних версий HTML5-клиента для управления виртуальной инфраструктурой VMware vSphere Client 3.31-3.32, а на днях компания VMware выпустила очередное обновление vSphere Client 3.33, где появилось немало новых возможностей (а не как обычно).

Давайте посмотрим, что нового в этом обновлении:

• Поддержка устройств PCI и Shared PCI для виртуальных машин.
• Мастер создания нового виртуального сервиса (vApp).
• Мастер клонирования vApp.
• Перемещение vApp в между хостами и кластерами.
• Возможность копирования customization specification виртуальной машины на другой сервер vCenter с возможностью изменения имени и описания спецификации.
• Действие Synchronize Licenses (ранее оно называлось Import License Keys Data).
• Детали об имеющихся ассетах и лицензиях.
• Возможность изменять VM Advanced configurations в настройках виртуальной машины (пункт Edit Settings).
• Изменение ярлыков для операций с состоянием ВМ (Power Operations) в разделе VMware tools в опциях Edit Settings для виртуальной машины.
• Изменение максимального количества сессий VMRC для виртуальной машины в настройках (Edit Settings).

В целом, не так уж и мало для очередного обновления. Скачать VMware vSphere Client 3.33 можно по этой ссылке.

Компания VMware на днях объявила о доступности для загрузки обновленной версии решения VMware Integrated OpenStack 4.1. Напомним, что о версии 4.0 данной платформы мы писали вот тут осенью прошлого года. Данный релиз поддерживает не только платформа vSphere, но и такие продукты, как vSphere, vSAN и NSX V|T (включая решение NSX-T LBaaSv2). Облачным администраторам в этом обновлении понравятся средства расширенного управления, а администраторам хранилищ Kubernetes - различные утилиты для автоматизации рабочих процессов.

В основе архитектуры VMware лежит виртуальный модуль vSphere OpenStack Virtual Appliance (VOVA), позволяющий построить инфраструктуру OpenStack на базе платформы виртуализации VMware vSphere. Сам же VMware Integrated OpenStack (VIO) - это специальный дистрибутив, поддерживаемый VMware, оптимизированный для работы на базе инфраструктуры SDDC (software defined data center).

Давайте посмотрим на новые возможности VMware Integrated OpenStack 4.1:

• Поддержка последних продуктов VMware. VIO 4.1 полностью поддерживает VMware vSphere 6.5 U1 (подробнее тут), vSAN 6.6.1, VMware NSX for vSphere 6.3.5 и VMware NSX-T 2.1 (подробнее тут).
• Public OMS API – появился API для управляющих серверов, который может быть использован для автоматизации и обслуживания жизненного цикла компонентов инфраструктуры OpenStack. Например, можно развернуть кластер OpenStack, остановить или запустить его, собрать бандлы для техподдержки и т.п. Вы также можете использовать Swagger UI для проверки валидности API и его спецификаций. Вот основные адреса для доступа:

API Base URL: https://[oms_ip]:8443/v1

Swagger UI: https://[oms_ip]:8443/swagger-ui.html

Swagger Docs: https://[oms_ip]:8443/v2/api-docs

• HAProxy Rate Limiting – облачный администратор теперь имеет возможность ограничить публичный доступ к API в определенном объеме. Это настраивается в шаблоне custom.yml.
• Neutron QoS – В VIO 4.1 облачный админ может использовать Neutron QoS для создания профиля QoS и его маппинга к портам или логическому коммутатору. При этом виртуальная машина при таком подключении будет наследовать политику портов.
• Native NSX-T Load Balancer as a Service (LBaaS) – В VIO 4.1 NSX-T LBaaSv2 может быть развернут с использованием как Horizon, так и Neutron LBaaS API.  Каждый балансировщик обязательно должен быть замаплен к логическому маршрутизатору NSX-T Tier 1 logical router (LR).
• Multiple domain LDAP backend – поддерживается SQL, а также один или несколько доменов как identity source (всего до 10 доменов). Каждый домен может иметь свой бэкенд аутентификации (поддерживается Active Directory и OpenDirectory).

Отдельно надо упомянуть новые фичи NFV и Kubernetes:

• VIO-in-a-box (так называемый Tiny deployment). Все компоненты VIO можно развернуть на одном физическом сервере. Его можно развернуть в ручном режиме или через OMS API. 
• CPU Policy for Latency Sensitivity Workflows – рабочие нагрузки, чувствительные к задержкам (Latency), часто требуют заранее выделенных ресурсов CPU, памяти и сети. В VIO 4.1 появилась поддержка политик в стиле Nova - ‘hw:cpu_policy”.  Эта политика мапит vCPU к конкретному инстансу процессора.
• Networking Passthrough – В VIO 4.1появился фреймворк на базе Neutron для проброса физических сетевых устройств в виртуальные машины.  Это позволяет с помощью Neutron настраивать MAC, IP и QoS сетевого устройства проброшенного через passthrough. Потом этот подход будет применен ко всем типам  passthrough-устройств.
• Enhanced Kubernetes support – VIO 4.1 идет вместе Kubernetes версии 1.8.1.  Также доступна интеграция с решениями Helm и Heapster. VIO 4.1 совместно с решением NSX-T2.1. также позволит использовать сетевые политики безопасности Kubernetes.
• VIO Kubernetes Support Bundle –  с помощью одной команды, указав начальную и конечную даты, можно собрать логи со всех компонентов, необходимые для анализа и решения проблем со всей инфраструктурой. Это позволяет легко и просто открыть тикет в техподдержке сервис-провайдера.
• VIO Kubernetes Log Insight Integration – как часть создания кластера Kubernetes, облачный админ может указать адрес сервера Log Insight в качестве внешней системы логгирования (пока только один сервер).
• VIO Kubernetes Control Plane Backup / Restore –  админ Kubernetes может делать резервные копии на уровне кластера через машину VIOK management VM. Бэкапы складываются в файлы tar.

Начать знакомство с VIO можно с прохождения лабораторной работы онлайн по этой ссылке: VMware Integrated OpenStack Hands-on Lab. Скачать VMware Integrated OpenStack 4.1 можно по этой ссылке.

Многие из вас знают, что одной из новых возможностей решения для организации отказоустойчивых кластеров хранения VMware vSAN стали проактивные тесты, которые доступны через VMware vSphere Web Client. Раньше их было три штуки:

Но недавно некоторые из вас, возможно, заметили, что в новой версии VMware vSAN (которая доступна с VMware vSphere 6.5 Update 1 Patch 02) остался только одиноко болтающийся тест на создание виртуальной машины:

Дункан Эппинг пишет, что это обусловлено двумя факторами:

• Тест Multicast performance ушел, так как мультикаст-режим был убран из VMware vSAN (еще в версии vSAN 6.6), соответственно, ушел и тест на его производительность. Теперь когда вы используете vSAN в режиме юникаст, то тест показан не будет, но если будете использовать все же мультикаст - тест появится.
• А вот тест Storage Performance ушел вот почему: у VMware есть методика тестирования HCI Bench, которая позволяет провести комплексный тест производительности отказоустойчивых кластеров хранилищ vSAN, а также других конфигураций виртуальной инфраструктуры. Это очень гибкий инструмент, который позволяет проводить наиболее точное тестирование и настраивать различные аспекты методики и среды тестирования. Соответственно, VMware решила поддерживать только один инструмент, а Storage Performance Test убрать из клиента для управления виртуальной инфраструктурой.

Уважаемые коллеги!

Приглашаем на интереснейший вебинар «VMware vCloud Extender – новейший инструмент построения гибридных облаков для vSphere 6.5». Про vCloud Extender мы уже писали вот тут. Это бывший продукт vCloud Connector, сейчас vCloud Extender позволяет пользователям облачных инфраструктур бесплатно перенести свои онпремизные виртуальные машины в облако сервис-провайдеров IaaS.

Будет проведён краткий обзор функционала VMware vCloud Extender, существенно упрощающего и расширяющего возможности миграции сервисов в облако, а также решающий задачи обеспечения высокой доступности для ЦОД, рассмотрены наиболее характерные сценарии его применения. Кроме того, вас ждёт живая демонстрация продукта на платформе VMware vSphere 6.5 от Облакотеки.

Вебинар будет интересен прежде всего техническим руководителям и специалистам компаний, которые только планируют или уже активно используют для своих нужд облачные среды на платформе VMware.

Приходите - будет действительно интересно, живое демо продукта и разъяснение технических моментов по продукту vCloud Extender, о которых вы часто спрашиваете.

Присоединяйтесь к нам на нашем мероприятии, будем рады общению!

На днях мы писали о том, что компания VMware выпустила обновления VMware vCenter и ESXi, закрывающие потенциальную угрозу безопасности Spectre (она же Hypervisor-Assisted Guest Mitigation - CVE-2017-5715), которая недавно была обнаружена в процессорах Intel. Для закрытия уязвимости нужно обновить не только серверы ESXi и vCenter, но и микрокод (BIOS/Firmware) серверов (более подробная информация также приведена в KB 52085).

На днях наш читатель Сергей прислал ссылку на скрипт от Вильяма Лама, который позволяет провести проверку компонентов виртуальной инфраструктуры VMware vSphere на данную уязвимость. Этот PowerCLI-скрипт содержит две функции:

• Verify-ESXiMicrocodePatchAndVM
• Verify-ESXiMicrocodePatch

Первая функция позволяет проверить хосты ESXi и виртуальные машины и сгенерировать отчет в разрезе виртуальных машин. Если в колонке Affected стоит значение False - значит обновления и микрокода сервера, и хоста ESXi были применены, а сами ВМ и хост-сервер не подвержены уязвимости Spectre.

Вторая функция проверяет только, что на хостах ESXi накачено обновление как микрокода, так и самого гипервизора ESXi, который видит обновленные CPU features.

Функция Verify-ESXiMicrocodePatchAndVM может быть запущена тремя способами:

• Без параметров - проверяется все окружение VMware vSphere и все виртуальные машины в нем.
• С параметром - ClusterName - проверяется конкретный кластер и всего его хосты и ВМ.
• С параметром - VMName - проверяется только конкретная ВМ и ее хост, соответственно.

У функции Verify-ESXiMicrocodePatch также есть три способа вызова:

• Без параметров - проверяются все хост-сервера в инфраструктуре vCenter.
• С параметром - ClusterName - проверяется конкретный кластер и всего его хосты.
• С параметром - VMHostName - проверяется конкретный хост-сервер ESXi.

Скачать этот PowerCLI-сценарий можно по этой ссылке: VerifyESXiMicrocodePatch.ps1.

Кстати говоря, этот скрипт был добавлен в полезный скрипт vCheck, который перед Новым годом обновился до версии 6.25, скачать его можно вот тут - https://github.com/alanrenouf/vCheck-vSphere.

Те из вас, кто следят за ИТ-новостями, наверняка слышали о последних уязвимостях, обнаруженных в процессорах Intel. Одной из таких уязвимостей стала Spectre - она потенциально позволяет локальным приложениям (локальному атакующему, при запуске специальной программы) получить доступ к содержимому виртуальной памяти текущего приложения или других программ.

На днях компания VMware опубликовала обновления для своей платформы VMware vSphere, которые устраняют потенциальные проблемы со Spectre (сама уязвимость описана вот тут).

Исправления для серверов VMware vCenter можно скачать по этим ссылкам:

• VMware vCenter Server 5.5 Update 3g - Release Notes - Загрузить
• VMware vCenter Server 6.0 U3d - Release Notes - Загрузить
• VMware vCenter Server 6.5 U1e - Release Notes - Загрузить

Вы можете скачать как установочный образ:

так и патч к vCenter с VMware Patch Portal (ищите обновление от 9 января):

Для серверов VMware ESXi надо пойти на VMware Patch Portal и загрузить оттуда обновление ESXi650-201801401-BG / ESXi650-201801402-BG. (номер билда 7526125). Подробная информация об обновлении приведена в KB 2151099.

Также данное исправление доступно и для настольных платформ виртуализации VMware:

• VMware Workstation 14.1.1 Pro for Linux - Загрузить
• VMware Workstation 14.1.1 Pro for Windows - Загрузить
• VMware Fusion 10.1.1 (для Intel-based Macs) - Загрузить
• VMware Fusion 8.5.10 (для Mac OS X) - Загрузить

Спасибо нашему читателю Стасу за новость об этих исправлениях.

Гостевой пост нашего партнера - сервис-провайдера ИТ-ГРАД, предоставляющего услуги аренды виртуальных машин.

Blockchain — это принципиально новая технология, которая в последнее время приковывает к себе все больше внимания. Специалисты из таких отраслей, как финансы, экономика, медицина, логистика, IoT, активно работают над исследовательскими и экспериментальными проектами с использованием блокчейн, поскольку эта технология заточена не только на криптовалюты.

Отметим, что Hyperledger Fabric — это не компания, не криптовалюта, а проект с открытым исходным кодом, организованный сообществом Linux Foundation, который был создан для продвижения блокчейн-технологии. Это нечто, похожее на хаб для открытой разработки отраслевых блокчейнов. Hyperledger Fabric дает широкие возможности, позволяя разработчикам сконцентрироваться на запуске блокчейн-проекта с собственной бизнес-логикой.

Взгляд изнутри

Суть утилиты Blockchain on vSphere заключается в возможности развернуть несколько узлов кластера Hyperledger Fabric, так называемых Pods, причем максимально просто. При этом в Blockchain-сервисе используются три учетные записи:

• Cloud Admin,
• Blockchain Admin,
• Blockchain Developer.

Каждая из них имеет соответствующие полномочия на разных уровнях системы: Cloud Admin может мониторить и работать с инфраструктурой на базе vSphere, Blockchain Admin — управлять платформой blockchain (Hyperledger Fabric), а разработчик Blockchain фокусируется на разработке приложений с использованием платформы blockchain.

Градация полномочий на разных уровнях системы

Hyperledger Fabric — это распределенная система, реализованная с использованием контейнеров. Она может быть развернута на платформе, которая поддерживает контейнерный стандарт OCI. При этом для управления контейнерами Fabric используется система Kubernetes. В основе рассматриваемого примера для Fabric v1.0 лежит следующая архитектура:

• Используются пространства имен для поддержки различных организаций Fabric.
• Используется настраиваемое количество одноранговых узлов в организации.
• Организуется изоляция через Persistent Volume.

Архитектура решения

Инструкция по развертыванию

Для реализации блокчейн-проекта с использованием Hyperledger Fabric необходимо выполнить ряд предварительных требований, включающих наличие: Читать статью далее->>

В декабре прошлого года мы писали о том, что компания VMware выпустила обновление ESXi 6.5 Update 1 Patch 2, а также вскользь упомянули апдейт сервера управления - VMware vCenter 6.5 Update 1d. А вчера в нашей заметке про обновленный vSphere Client наш читатель обратил внимание на статью в блоге VMware, где рассказано о некоторых новых фичах vSphere Client, версия 3.21 которого была включена в состав vCenter 6.5 Update 1d.

Как обычно обновился и документ о различиях vSphere Client и vSphere Web Client на момент 18 декабря прошлого года (то есть до версии vSphere Client 3.31).

Давайте посмотрим, что за фичи есть в HTML5-клиенте, который поставляется с vCenter 6.5 Update 1d, по сравнению с его прошлой версией, включенной в vCenter.

1. Улучшенный вид интерфейса Clarity.

Благодаря новому подходу VMware за счет фреймворка Clarity интерфейс клиента стал более эстетичным и удобным в использовании. Давайте взглянем, например, на возможность переключения между Active и Consumed Memory в vSphere Client:

2. Настройка vSphere Proactive HA.

Ранее это можно было делать только через Web Client, теперь это выглядит удобно и красиво:

3. Появилась настройка Content Library.

Важная фича - добавление уже существующей библиотеки с контентом (например, с другого сервера vCenter):

4. Настройка Network IO Control (NIOC) на VDS.

Теперь это возможно через vSphere Client (вместе с настройкой LAGs и LACP) для vSphere Distributed Switch (VDS), включая изменение параметров шлюза на адаптерах VMkernel:

5. Настройка политик хранения (Storage Policies).

Ранее это было доступно только через Web Client (например, нельзя было создать новую политику в HTML5-клиенте), но теперь можно делать все операции в удобном рабочем процессе для vSphere Client, который, кстати, был упрощен.

6. Управление VIB-пакетами.

Очень удобный раздел, чтобы узнать, какие дополнения в виде VIB-пакетов установлены на хосте ESXi. Доступно по адресу Host –> Configure –> System –> Packages:

7. Управление настройками ВМ и шаблонами.

Теперь в VM Settings можно настраивать все параметры виртуальных машин, включая добавление новых виртуальных устройств, таких как NVMe, SCSI, USB Controller и Host-based USB Adapter. Кроме того, появилась возможность работы с шаблонами (VM Templates).

8. Настройка VM Guest Customization Specifications.

При развертывании ВМ из шаблонов с помощью HTML5-клиента теперь можно использовать спецификацию созданную с помощью встроенного мастера, либо указать уже существующий файл спецификации.

Скачать текущую версию VMware vSphere Client можно по этой ссылке. VMware vCenter 6.5 Update 1d доступен тут.

Компания VMware в первые дни нового года выпустила очередное обновление своего HTML5-клиента для управления виртуальной инфраструктурой - VMware vSphere Client 3.32.

Напомним, что ранее мы писали о возможностях клиента 3.30 и ниже, поэтому приведем новые возможности версий vSphere Client 3.31 и 3.32, где, в основном, из нового - это управление объектами vApp:

• Операции включить/выключить/перезагрузить/приостановить для виртуальных сервисов (vApp) - это показано на рисунке выше.
• Переименование/удаление сервиса vApp.
• Экспорт объекта vApp в шаблон виртуального модуля OVF.
• Отоносящиеся к объектам vApp вкладки VM, datatastore и networking.
• Действие Add Permission для шаблонов ВМ (templates).
• Выбранные счетчики производительности в разделе Performance Charts сохраняются для данного пользователя в локальном хранилище его браузера. Это позволяет не настраивать их заново при открытии новой сессии клиента.
• Исправлены некоторые ошибки.

Скачать VMware vSphere Client можно по этой ссылке.

«Код безопасности» анонсировал выход продукта vGate 4.0. Решение для защиты виртуальных инфраструктур будет востребовано компаниями, применяющими виртуальные платформы VMware vSphere или Microsoft Hyper-V последних версий. Продукт позволяет настроить инфраструктуру согласно различным требованиям с помощью наборов политик, разграничить права доступа администраторов, а также обеспечить защиту от несанкционированного доступа к виртуализованным ресурсам.

На днях компания DoubleCloud, выпускающая средства для управления виртуальной средой, обновила свою главню бесплатную утилиту до второй версии - VMDeployer 2.0. Напомним, что это Java-приложение с графическим интерфейсом, позволяющее развернуть виртуальный модуль OVA/OVF с расширенными опциями.

Это удобно для тех администраторов виртуальной инфраструктуры VMware vSphere, у которых не получается развернуть модуль через vSphere Web Client или vSphere Client, либо не хватает его возможностей, а также возможностей консольной утилиты ovftool (кстати, для нее VMDeployer генерирует команды). О версии VMDeployer 1.4 мы писали вот тут.

Давайте посмотрим на новые возможности VMDeployer 2.0:

1. Поддержка VM Migration (только vCener). Теперь вы можете выбрать любую виртуальную машину из списка и переместить ее на любой другой хост ESXi и/или датастор. При этом GUI был сильно упрощен, что экономит время. Также добавилась панель основных операций с ВМ - включение, конфигурация, снапшот и т.п.

2. Панель Recent Tasks. Теперь появилась новая вкладка "Recent Tasks", которая отображает последние задачи целевого сервера, которые выполнялись последние 5 или 10 минут. Также вкладка отображает список похожих задач (similar tasks) - похожая панель существует в vSphere Client и Web Client.

3. Улучшенный Virtual Machine Cloning с поддержкой шаблонов. В прошлых релизах вы выбирали только папку назначения и все - утилита использовала тот же хост-сервер ESXi, пул ресурсов и датастор в качестве исходной виртуальной машины. Это хорошо работает с машинами, но не подходит для шаблонов. Другими словами, таким образом нельзя было развернуть новую ВМ из шаблона, так как у шаблонов нет опции выбора пула ресурсов.

Скачать VMDeployer 2.0 можно по этой ссылке.

Недавно компания Microsoft выпустила интересное сравнение стоимости владения онпремизной инфраструктурой VMware vSphere с облачной IaaS-инфраструктурой Microsoft Azure. Оформлено это сравнение в виде калькулятора совокупной стоимости владения (Total Cost of Ownership, TCO) - Azure TCO Calculator.

Результаты расчетов на Azure TCO Calculator показывают экономию на Azure в размере до 84% относительно аналогичной онпремизной инфраструктуры VMware (на отрезке в 3 года). Сотрудники VMware смотреть на такое спокойно не смогли и разразились гневным постом, где написали о том, что вот буквально недавно закончили Whitepaper, где многие опрошенные ИТ-компании говорят о том, что онпремизная инфраструктура обходится иногда дешевле облачной, а 65% говорит, что если и дешевле, то не более, чем на 10% (некоторые выводы суммаризованы вот тут).

Сотрудники VMware сетуют на следующие недочеты в подходе Microsoft к анализу TCO:

• Microsoft почему-то считает необходимым покупку лицензий vSphere каждый год при расчете 3-летней TCO.
• При расчете используется 500 ВМ с конфигурацией 2 vCPU / 4 ГБ, для которых требуется аж 1 984 ядра и 33 ТБ RAM. Это в 4 раза больше по CPU и в 16 раз больше по памяти чем требуется, считают в VMware.
• Для расчета Azure Pay-As-You-Go модели используются инстансы B-series, которые Microsoft рекомендует для небольших нагрузок (типа разработки/тестирования).
• Для расчета облачной нагрузки используется дефолтная цифра 40% в качестве времени работы серверов в течение месяца. Это неприменимо к продакшен серверам - они должны быть включены круглосуточно.
• Для расчета TCO VMware используются лицензии vSphere Enterprise Plus, которые существенно функциональнее текущих сервисов Azure. А вот функции Premium storage и Operations Management Suite в облаке будут стоить дополнительных денег (и тогда уже можно сравнивать с Enterprise Plus).
• По расчетам Microsoft, онпремизные серверы, хранилища и сети потребляют 20% от своей стоимости в год на обслуживание. VMware считает это дороговато.
• Microsoft не учитывает остаточную стоимость серверов и оборудования по прошествии трех лет расчета. Что надо бы учесть по мнению VMware.

На основе тезисов, приведенных выше, компания VMware добавила в сравнительную таблицу колонку "Calculator with corrections", которая отражает реальное по мнению VMware положение дел:

В качестве исходных данных здесь предполагается инфраструктура из 500 ВМ с конфигурацией 2 vCPU / 4 ГБ. Если считать, что для одной ВМ нужно 2 vCPU на одно физическое ядро, то понадобится всего 8 двухпроцессорных хостов (по 32 ядра на процессор в каждом). С точки зрения памяти, VMware считает, что будет достаточно 8 ТБ на 500 машин, что достаточно разумно (16 ГБ на машину с учетом техник оптимизации памяти - это в целом ок).

Согласитесь, что VMware считает деньги в данном случае совсем по-другому и очевидно, что с лукавством Microsoft в своем калькуляторе немного перегнула палку.

Или нет? Что вы думаете?

Компания VMware после очень долгого перерыва выпустила новую версию своего главного продукта для перенесения физических серверов в виртуальную среду - VMware vCenter Converter Standalone 6.2. Напомним, что прошлая версия этого средства вышла почти два года назад (мы писали о vCenter Converter Standalone 6.1 вот тут) - и никто не переживал по этому поводу.

Давайте посмотрим, что нового VMware добавила в Converter за прошедшие почти 2 года:

• Поддержка целевых хостов VMware vSphere 6.5 Update 1.
• Поддержка новых ОС физических серверов - Windows Server 2016 и Ubuntu 16.
• Новая конфигурация для миграции Linux-серверов. Теперь можно указать путь ко временным файлам vmware-sysinfo, которые будут распакованы и запущены.
• Новая опция, позволяющая изменить дефолтный тип диска целевой виртуальной машины с thick ("толстого") на thin ("тонкий"). Для этого нужно отредактировать файл converter-worker.xml.

Не так уж и много, да? Похоже, конвертером особо никто не занимался... Таким образом, список поддерживаемых конвертеров операционных систем выглядит так:

• Windows Vista SP2 до Windows 10
• Windows Server 2008 SP2 до Windows Server 2016
• CentOS 6.x and 7.0
• Red Hat Enterprise Linux 4.x up to 7.x
• SUSE Linux Enterprise Server 10.x and 11.x
• Ubuntu 12.04 LTS, 14.04 LTS, and 16.04 LTS

Офлайн конверсия машин с Microsoft Hyper-V может быть проведена для следующих ОС:

• Windows Server 2008 R2 (64-bit)
• Windows Server 2012 (64-bit)
• Windows Server 2012 R2 (64-bit)
• Windows 10 (64-bit)
• Windows Server 2016 (64-bit)

Более подробно о новой версии VMware vCenter Converter Standalone 6.2 написано в Release Notes, скачать продукт можно по этой ссылке.

Часто администраторы виртуальной инфраструктуры VMware vSphere испытывают необходимость увеличить размер виртуального диска VMDK, который защищен технологией репликации VMware vSphere Replication. Если попытаться увеличить диск из vSphere Client, то вы получите вот такую ошибку:

vSphere Replication does not support changing the length of a replicated disk

Поэтому для увеличения реплицируемого VMDK-диска нужно сделать следующее:

• Переименуйте папку с виртуальной машиной и виртуальным диском на резервном сайте. Это нужно для того, чтобы при отключении репликации папка с ВМ на резервной площадке не удалилась.
• Запомните настройки репликации ВМ (RPO, датастор назначения и т.п.).
• Отключите репликацию виртуальной машины.
• Увеличьте размер виртуального диска на основной площадке из GUI vSphere Web Client через Edit Settings.
• Теперь увеличьте размер виртуального диска на резервной площадке с помощью утилиты vmkfstools. Для этого выполните команду:

vmkfstools –X 50G virtual_machine.vmdk

• Далее на резервном сайте переименуйте папку с ВМ обратно к исходному имени.
• Настройте репликацию ВМ заново, выбрав пункт Specify datastore folder и указав папку с ВМ, которую будете реплицировать. Появится сообщение:

A file with the name ‘[<datastore>] <folder>/<filename> already exists. Press Yes to use file as an initial copy.

• Нажимайте Yes и репликация должна завестись.

Если вы не увеличите размер виртуального диска на резервной площадке, то получите вот такое сообщение об ошибке:

The capacity of the seed disk does not match the capacity of the replication source disk. Create a new seed copy or verify that you selected the correct seed to use for this replication

Поэтому не пропускайте этот шаг. Также о процедуре написано в KB 2052883.